#Reasoning Traces

3 篇

Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer

辅助奖励驱动的自改进：从验证轨迹中学习并评估迁移

🧭 小模型推理自改进 · 轨迹级辅助奖励

Georgia Institute of Technology

提出用置信度/熵辅助轨迹偏好区分同等正确推理，提升小模型自改进与跨任务迁移

📌 工作参考价值（4 点）

业务 LLM 生成推荐理由/query/文案时，常只有点击/转化等弱反馈；可引入置信度（SC）或熵变化+局部平滑度（UID-Conj.）作为辅助奖励，对正反馈轨迹打分，筛选高质量样本做 SFT，在标注有限时提升迁移表现。
离线加权 SFT 比在线 TTRL 更稳定且证据更强：同一响应池按辅助奖励加权训练，较均匀加权提升 1.93 点（CI [0.44,3.44]）。业务可优先做离线加权精调，成本低、便于上线。
辅助奖励选择依赖任务：SC 更适合判断指令遵循和轨迹质量；UID-Conj. 在多种训练设置中更利于下游收益。实际可两者都算，在验证集上选择权重或融合，而非只看推理偏好。
评估轨迹偏好应以最终业务指标为准，而非仅看推理期排序一致性；建立下游 A/B 或离线 proxy 评估，辅助奖励要暴露学习价值。

Training | 2026-10-29 | HF Daily | score 7/10

TRACE：基于业务规则的推理课程实现知识保留的参数化工具检索

🧭 工具检索 · 业务规则推理 · 知识保存 ★ 深度解读

SAP Labs

通过两阶段课程与业务规则推理轨迹，在保持工具知识的同时实现单束解码的高召回工具检索

📌 工作参考价值（4 点）

业务规则注入推理轨迹的方法可迁移至电商推荐/搜索：将促销规则、禁售约束、新品权重等转化为“规则-推理-答案”训练数据，让模型在生成推荐或查询改写时显式引用规则，提升准确率和可解释性。
两阶段课程设计可缓解微调遗忘：先通过多格式记忆（LoRA）保持原始知识，再叠加推理增强任务，适合在推荐模型持续学习新业务规则时防止商品属性知识退化，确保工具/商品 ID 的语义锚定。
单束贪婪解码替代约束束搜索：将推理过程融入生成，避免推理时前缀 trie 约束，大幅降低延迟（~200× 吞吐提升），可直接部署于实时搜索推荐系统。
合成数据管道生成规则覆盖：通过 LLM 将领域专家编写的业务规则转化为多样化查询-推理对（显式、隐式、异常三种风格），可在规则较少时快速扩充训练数据，适用于电商意图识别、多意图查询路由等场景。

Agent | 2026-06-21 | HF Daily | score 8/10

推理轨迹前缀的保形认证

🧭 推理可靠性 · 保形风险控制 ★ 深度解读

Rice University

提出 CROP 方法，为推理步骤序列提供前缀污染风险的有限样本边际控制，保留有效中间推理以提升下游修复

📌 工作参考价值（4 点）

在多步 Agent 决策中，可用 CROP 对已执行的步骤序列进行风险认证，返回风险可控的“安全前缀”，将剩余步骤交给人工审查或更高精度的修复模块，避免全盘回滚。
生成式推荐（GenRec）在生成物品序列（如购物车推荐）时，可以用类似前缀认证思路，将生成过程按步骤拆分，用 process reward model 标注风险，仅保留低风险前缀再继续生成，提高推荐列表的整体可信度。
工程实现上，CROP 是 verify-agnostic 的轻量校准层，只需将任意步骤级风险评分（PRM、logits、heuristics）输入即可获得保形保证，可直接插入现有的 LLM 推理管线，无需修改模型。
实验揭示了“步骤 AUROC 高 ≠ 前缀实用性好”这一重要现象，可迁移至电商搜索排序中：离线排序指标（如 AUC）可能无法反映线上截断位置的效用，评估应直接面向最终截断策略校准。

Reasoning | 2026-05-28 | stat.ML | score 8/10